TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning
TurnSight：轮次级后见自蒸馏实现工具推理细粒度信用分配
🧭 Agent 后见自蒸馏 · 轮次信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Baidu Inc.
利用多前瞻视野的执行条件后见信号调制 RL 优势，实现多轮工具推理的精准轮次信用分配
📌 工作参考价值（4 点）
- 在多轮 Agent 决策（如搜索推荐系统中的多步查询、工具调用）中，可直接将环境执行结果作为自然的后见监督，无需依赖外部参考轨迹或人工标注，实现状态对齐的细粒度信用分配。
- 通过多前瞻视野（例如 d=1,2,3）构建互补的后见教师，利用方向一致性投票选择最可靠的监督信号，既能捕捉即时执行质量，又能反映延迟影响，避免单一视野的偏差或噪声。
- 组内规范化（prompt-group normalization）将有界后见权重与 RL 基础优势对齐，仅调制幅度而不改变优化方向，可与 GRPO 等策略梯度算法无缝集成，无额外模仿损失。
- 工程实现上，所有教师和参考分支可冻结，仅需在训练时计算一次后见信号，部署时仅用到学生策略，开销低且易于扩展。